Ngày 27 tháng 12 năm 1943, giám mục Nguyễn Bá Tòng trao quyền quản lý địa phận cho giám mục phó Gioan Maria Phan Ðình Phùng.[21] Giám mục Tòng quyết định về Xuân Đài để nghỉ dưỡng. Tuy vậy, chỉ vài tháng sau khi chấp chính giáo phận, giám mục Phan Đình Phùng qua đời cuối tháng 5 năm 1944. Nhận được tin, giám mục Tòng quay về địa phận và tổ chức lễ tang cho giám mục Phùng. Kể từ ngày 8 tháng 6 năm 1944, ông đảm nhận vai trò Giám quản Tông Tòa Địa phận Phát Diệm để chờ Tòa Thánh chọn người kế vị. Nguyễn Bá Tòng theo đường hướng của linh mục Trần Lục để quyết định khai khẩn, lấy đất lấp biển ở vùng Cồn Thoi. Với việc này, ông tạo việc làm cho người dân không phân biệt lương giáo và thiết lập được nhiều xứ đạo nơi vùng đất mới trong thời kỳ khó khăn năm 1945.[7]

Giám mục Tòng đề cử linh mục Tađêô Lê Hữu Từ, tu viện trưởng dòng Châu Sơn và Tòa Thánh quyết định chọn linh mục này làm giám mục. Lễ tấn phong cho giám mục Từ diễn ra cuối tháng 10 năm 1945 và giám mục Tòng bàn giao lại địa phận cho giám mục Từ, trở lại Xuân Đài để nghỉ hưu. Tại đây, ông nhiều lần trò chuyện cùng giám mục Hồ Ngọc Cẩn và gặp giám mục Cẩn một ngày trước khi giám mục này qua đời.[7]

Giám mục Nguyễn Bá Tòng qua đời ngày 11 tháng 7 năm 1949, an táng tại Nhà thờ chính tòa Phát Diệm.[4][7]